用微信扫码二维码

分享至好友和朋友圈

关注我入群，和5w产品人，一起变优秀

比尔盖茨：ChatGPT是1980年以来最具革命性的科技进步。

身处这个AI变革的时代，唯有躬身入局，交不跟上。

这是一篇我的学习笔记，希望对你了解ChatGPT有帮助。

1、

ChatGPT里的GPT，分别代表什么？

GPT，Generative Pre-trained Transformer，生成型预训练变换模型。

什么意思？

Generative，生成式，是指它能自发的生成内容。

Pre-trained，预训练，是不需要你拿到它在训练，它直接给你做好了一个通用的语言模型。

Transformer，变换模型，谷歌提出来的一个很厉害的模型，他可以帮助更好的去处理NLP相关的问题，是非常棒的神经网络结构。

2、

Transformer虽是由谷歌提出的。但是应用最成功的是OpenAI的ChatGPT。

因为ChatGPT是站在巨人的肩上来走出来的。

ChatGPT是全人类社会的结晶，没有前人的铺垫，ChatGPT不会这么顺利走出来。

后面也会有更多的非常厉害的应用，会基于ChatGPT走出来。

3、

Transformer中有一个很重要的概念，注意力机制。

什么是注意力机制呢？

就是从你输入的信息中，挑出重要的信息，把注意力集中在这些重要的信息上，忽略不重要的信息。这样就能更好的理解你说的话。

注意力机制能帮助Transformer模型集中注意力在输入信息中最重要的部分。

4、

机器学习方式，分为监督学习、无监督学习、强化学习。

监督学习：有标签数据，可以直接反馈，可以预测结果和未来

无监督学习：没有标签和目标，没有反馈，而是它自己去寻找数据中的隐藏结果

强化学习：是一个决策过程，有一系列的奖励机制和惩罚机制，让机器学习如何做到更好

ChatGPT用到的是无监督学习和强化学习。

5、

ChatGPT能进行大量的内容生成和创造，其实是靠的猜概率。

比如，天气灰蒙蒙的，我的心情很___

经过大量数据训练过的AI，会预测这个空格出现的最高概率的词是「沮丧」。

那么「沮丧」就会被填到这个空格中，所以产生了答案：

天气灰蒙蒙的，我的心情很沮丧

这感觉很不可思议，但事实就是这样。

现阶段所有的NLP(自然语言处理)任务，都不是机器真正理解人类的世界。

他只是在玩文字游戏，进行一次有一次的概率解谜。

6、

在这个”猜概率“的文字游戏中，大预言模型（LLM，Large Language Model）演进出了最主流的两个方向：BERT和GPT。

BERT是之前最流行的方向，几乎统治了所有NLP领域。

并在自然语言理解类任务中发挥出色(例如文本分类，情感倾向判断等）。

而GPT方向则较为薄弱，最知名的玩家就是OpenAl了。

事实上在GPT3.0发布前，GPT方向一直是弱于BERT的（GPT3.0是ChatGPT背后模型GPT3.5的前身）。

7、

BERT和GPT区别是？

BERT，是双向语言模型，联系前后猜中间的字，所以是双向，就像完型填空。

比如：我___20号回家

BERT猜的是「我打算20号回家」，猜的是中间的「打算」。

GPT，是单向语言模型，猜下一个字，所以是单向，像写作文。

比如：我打算20号___

GPT猜的是「我打算20号回家」，猜的是后面「回家」两个字。

8、

怎么给GPT提问？

有两种方式：fine-tune和prompt。

fine-tune，调参：需要对模型参数进行更新，来完成生成内容。

fine-tune 专业，门槛高，受众小。但是多样性、准确度高，适合复杂任务。少数玩家的游戏。

prompt，提示词：不需要修改模型和参数，只需要给一些提示和样例，就能完成任务。

fine-tune 更简单，门槛低，受众大。适合处理简单的任务。所有玩家都。

我们在ChatGPT输入框中输入的内容，就是prompt。

9、

ChatGPT是生成式AI。

AI从内容产出方式上，分为两种：分析式AI和生成式AI。

分析式AI，主要用于分析，归类。你喂给它多少数据，它就能分析出什么样的内容，它局限于数据本身。

生成式AI，在学习归纳数据分布的基础上，创造数据中不存在的新内容。可以生成文本、图片、代码、语音合成、视频和3D模型。

ChatGPT是生成式AI，最擅长文本和写代码。

10、

最后，从知识获取的角度说，ChatGPT是全新一代的 “知识表示和调用方式”。

早期，知识以结构化的方式存储在数据库中。我们通过 SQL获取。

后来，随着互联网的诞生，更多文本、图片、视频等非结构化知识存储在互联网中。我们通过搜索引擎获取。

现在，知识以参数的形式存储在大模型中。我们用自然语言直接调用这些知识。

（以上内容，来源于公开资料学习，侵删）

最后，我也创建了一个「AIGC探索营」

用于和大家一起持续学习、实践、挖掘AI时代机会。

这是一个付费社群

前100位享早鸟价99元/年

满100人后，涨价至149元↓↓↓

建这个社群的目的，是因为这三句话：

1）ChatGPT发布后，我们迎来了AIGC全新时代

亦如移动互联网、iPhone的发布那般重要。这是时代红利。

2）AI不会让你失业，会用AI的人会让你失业

AIGC，即将成为职场的基础技能，就如办公软件一样。

3）趋势不可阻挡，我们唯一要做的是：躬身入局，持续学习和实践

越早学习，越早和身边人拉开差距。

这个社群提供的内容和价值，目前规划如下：

这里聚焦于关于AIGC（AI生成内容）的动态、认知、学习、应用、实操和机会：

动态：AIGC前沿动态

❤️认知：关于AI的超前认知

学习：系统学习AI知识

‍♀️应用：AIGC的应用场景和案例分享

✋实操：下场动手操作

机会：个人成长机会，赚钱机会

更多权益，设计中...

什么是AIGC？

AIGC 即AI Generated Content，是指利用人工智能技术来生成内容，AIGC也被认为是继UGC（User Generated Content，用户生成内容）、PGC（Professional Generated Content，专业生产内容）之后的新型内容生产方式。

AI绘画、AI写作等都属于AIGC的分支。ChatGPT、New Bing、文心一言、Midjourney等都是AI生成内容的具体应用。

随着ChatGPT的发布和引爆全球，2023年，称得上AIGC元年。

AI已来，你准备好了没有？

欢迎上车，一起起飞：

前100位享早鸟价99元/年

满100人后，涨价至149元↓↓↓

特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.